# TF-IDF

## 개요

TF-IDF(Term Frequency-Inverse Document Frequency)는어처리(NLP) 분야에서 텍스트 데이터의 중요도를 수치화 대표적인 통계적 측정 기법입니다. 이 방법은 특정 단어가 하나의 문서 내에서 얼마나 자주 등장하는지(빈도)와 동시에 전체 문서 집합(corpus) 내에서 그 단어가 얼마나 희소하게 나타나는지를 고려하여, 각 단어의 상대적 중요성을 평가합니다. TF-IDF는 정보 검색, 텍스트 마이닝, 문서 분류, 키워드 추출 등 다양한 응용 분야에서 널리 사용됩니다.

이 기법은 단순한 빈도 기반의 접근법보다 더 정교한 가중치를 제공하며, 자주 등장하지만 의미적으로 중요한 정보를 담고 있지 않은 단어(예: "의", "가", "은")에 낮은 가중치를 부여함으로써 노이즈를 줄이는 데 효과적입니다.

---

## TF-IDF의 구성 요소

TF-IDF는 두 가지 주요 요소로 구성됩니다: **TF**(Term Frequency)와 **IDF**(Inverse Document Frequency). 각각의 개념과 계산 방식은 다음과 같습니다.

### Term Frequency (TF)

TF는 특정 단어(term)가 하나의 문서(document) 내에서 얼마나 자주 등장하는지를 나타내는 지표입니다. 일반적으로 다음과 같은 방식으로 계산됩니다:

\[
\text{TF}(t, d) = \frac{\text{문서 } d \text{에서 단어 } t \text{의 등장 횟수}}{\text{문서 } d \text{의 전체 단어 수}}
\]

또는 간단히 등장 횟수만을 사용하기도 하며, 로그 스케일링을 적용하여 과도한 빈도수의 영향을 줄이기도 합니다:

\[
\text{TF}(t, d) = \log(1 + \text{등장 횟수})
\]

TF 값이 높을수록 해당 단어가 그 문서에서 중요하게 여겨질 가능성이 높습니다.

### Inverse Document Frequency (IDF)

IDF는 특정 단어가 전체 문서 집합에서 얼마나 희소한지를 나타내는 지표입니다. 자주 등장하는 단어(예: 관사, 조사 등)는 모든 문서에 고르게 분포되어 있으므로 낮은 IDF 값을 가지며, 드물게 등장하는 단어는 높은 IDF 값을 가집니다. 계산식은 다음과 같습니다:

\[
\text{IDF}(t, D) = \log \left( \frac{\text{전체 문서 수}}{\text{단어 } t \text{가 등장한 문서 수}} \right)
\]

여기서 로그는 일반적으로 자연로그 또는 상용로그를 사용하며, 분모가 0이 되는 것을 방지하기 위해 1을 더하는 경우도 있습니다:

\[
\text{IDF}(t, D) = \log \left( \frac{N}{1 + \text{df}(t)} \right)
\]

- \( N \): 전체 문서 수
- \( \text{df}(t) \): 단어 \( t \)가 포함된 문서의 수

---

## TF-IDF 계산

TF-IDF는 TF와 IDF의 곱으로 정의됩니다:

\[
\text{TF-IDF}(t, d, D) = \text{TF}(t, d) \times \text{IDF}(t, D)
\]

예를 들어, 문서 A에 "자연어처리"라는 단어가 자주 등장하지만, 전체 문서 집합에서는 드물게 나타난다면 이 단어는 문서 A의 핵심 키워드로 간주되며 높은 TF-IDF 값을 가집니다. 반대로, 모든 문서에 고르게 등장하는 "그리고", "또한" 같은 단어는 낮은 TF-IDF 값을 가지게 됩니다.

---

## TF-IDF의 장점과 한계

### 장점

- **단순하고 해석이 용이함**: 계산 방식이 직관적이며, 결과를 쉽게 이해할 수 있습니다.
- **노이즈 제거 효과**: 일반적인 불용어(stop words)에 낮은 가중치를 부여하여 의미 없는 단어의 영향을 줄입니다.
- **비지도 학습 방식으로 활용 가능**: 레이블이 없는 데이터에서도 키워드 추출이나 유사도 계산에 사용할 수 있습니다.

### 한계

- **단어 간 관계를 고려하지 않음**: 단어의 순서, 문맥, 의미적 유사성 등을 반영하지 못합니다.
- **희소 표현(Sparse representation)**: 대부분의 값이 0인 고차원 벡터를 생성하여 메모리 소모가 크고, 계산 효율이 낮을 수 있습니다.
- **동의어 문제**: "자동차"와 "차량"처럼 의미는 유사하지만 다른 단어로 표현된 경우를 구분하지 못합니다.

---

## 응용 분야

TF-IDF는 다음과 같은 다양한 자연어처리 작업에 활용됩니다:

- **문서 검색 시스템**: 사용자 쿼리와 문서 간의 유사도를 계산하여 관련 문서를 순위화합니다.
- **텍스트 분류**: 문서를 벡터화하여 머신러닝 모델(예: SVM, 로지스틱 회귀)의 입력으로 사용합니다.
- **키워드 추출**: 문서에서 가장 중요한 단어를 자동으로 추출합니다.
- **문서 요약**: TF-IDF 점수가 높은 문장을 중심으로 요약을 생성합니다.

---

## 관련 기술 및 대안

TF-IDF는 전통적인 방법이지만, 최근에는 더 발전된 기술들이 등장하여 그 한계를 보완하고 있습니다:

- **Word2Vec, GloVe**: 단어를 밀집 벡터(dense vector)로 표현하여 의미적 유사성을 반영합니다.
- **BERT 및 트랜스포머 기반 모델**: 문맥을 고려한 동적 단어 표현을 제공합니다.
- **Okapi BM25**: TF-IDF를 개선한 정보 검색 알고리즘으로, 문서 길이 정규화 등을 추가합니다.

---

## 참고 자료 및 관련 문서

- Manning, C. D., Raghavan, P., & Schütze, H. (2008). *Introduction to Information Retrieval*. Cambridge University Press.
- [Scikit-learn: TfidfVectorizer](https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html)
- [Wikipedia - TF-IDF](https://en.wikipedia.org/wiki/Tf%E2%80%93idf)

TF-IDF는 자연어처리의 기초이자 핵심 개념으로, 최신 딥러닝 기반 모델을 이해하기 위한 필수 전제 지식입니다.